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JE 要 : 针对 光 场 相机 结构 和 像素 传感器 分 辩 率 的 限制 导致 光 场 图 像 空间 分 辩 窑 和 角度 分 准 滨 都 较 低 的 问题 ， 提 出 一 
种 融合 全 局 与 局 部 视角 的 光 场 超 分 辩 率 重建 算法 ， 同 时 提高 光 场 图 像 的 空间 分 辩 诛 和 角度 分 辩 滨 。 首 先 根 据 待 重建 新 
视角 的 位 置 ， 自 适应 选择 局 部 视角 ， 利 用 空间 超 分 辨 率 卷 积 神 经 网 络 提高 全 局 视角 和 局 部 视角 的 空间 分 辨 率 ， 然 后 提 
取 并 融合 全 局 视角 和 局 部 视角 在 新 视角 处 映射 图 像 的 深度 特征 和 颜色 特征 ， 通 过 角度 分 辨 率 卷 积 神经 网 络 重 建 获得 新 
视角 图 像 。 实 验 结 果 表 明 ， 与 现 有 方法 相 比 ， 峰 值 信 骂 比 (PSNR) 提 高 约 3dB， 结 构 相 似 性 指数 (SSIM) 提 高 约 0.02， 有 
效 地 解决 了 遮挡 情况 下 重建 新 视角 局 部 目标 丢失 现象 ， 同 时 更 好 地 保持 新 视角 的 边缘 信息 ， 获 得 更 优 的 重建 效果 。 
关键 词 : 超 分 状 率 重建 ; 光 场 ; 卷 积 神经 网 络 ; 自 适 应 ; 全 局 视角 ; 局 部 视角 
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Light field super-resolution using global and local multi-views 
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Abstract: The spatial and angular resolution are comparatively low owing to the limitation of the resolution of its pixel sensor 


which is due to design reasons. To address the above problem, this paper presented a new super-resolution method based on 


global and local views to simultaneously enhance both the spatial and angular resolutions of a light field image. First of all, it 


adaptively chose local views according to the position of the novel view, and then used spatial super-resolution convolution 


ph neural network to get high resolution sub-images such as global-view and local-view images, subsequently it extracted and fused 


the depth and color features from the image obtained by backward warping the input views. Then put the results into the angular 


super-resolution network which produced a novel view image as the final result. The experimental results demonstrate that the 
reconstruction effect of this method is superior to the state-of-the-art's. And in peak signal to noise ratio get 3dB promotion and 
structural similarity image measure upgrade about 0.02. In addition, it is not only able to improve spatial and angular resolution 
of multi-view images, but also to maintain edge information of the novel view, thus effectively avoiding the loss of objects and 
yielding a better reconstruction effect. 
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折 中 。 目 前 ， 光 场 商 业 相 机 如 Lytro, Lytro illumP! f Raytrix 都 
具有 较 低 的 角度 分 辨 率 , 且 其 空间 分 辨 率 也 低 于 传统 相机 ,导致 
随 着 光 场 成 像 技术 的 发 展 ， 光 场 相 机 叫 作 为 一 种 新 型 的 多 光 场 稀疏 采样 问题 息 ， 因 此 ， 同 时 提高 光 场 图 像 的 空间 分 辨 率 
视角 成 像 设 备 成 为 计算 成 像 领 域 的 研究 热点 。 光 场 相 机 的 基本 和 角度 分 辨 率 对 于 充分 发 挥 光 场 相机 的 优势 ， 有 具有 重要 意义 。 
原理 是 在 主 透 镜 和 像素 传感器 中 间 插 一 个 微 透镜 阵列 ， 通 过 由 于 光 场 相机 采集 到 的 光 场 信息 具有 较 多 的 元 余 信息 和 先 
次 曝光 可 以 获得 2D 空间 信息 和 2D 角度 信息 。 相 比 于 传统 相 验 信息 ， 这 使 得 利用 超 分 辩 率 重建 技术 (superresolution 
机 , 光 场 相机 具有 先 拍照 后 聚焦 的 独特 优势 , 在 显著 性 检测 自 、 reconstruction，SR) 来 提高 光 场 图 像 的 分 辩 率 存在 可 能 。 光 场 的 
深度 估计 名、 三维 重建 由 等 方面 得 到 广泛 应 用 。 但 是 由 于 光 场 相 超 分 辨 率 重建 分 为 空间 超 分 辩 率 重建 和 角度 超 分 辩 率 
机 结构 和 像素 传感器 分 辩 率 的 限制 ， 光 场 数 据 多 出 的 2D 角度 2009 年 ，Bishop 等 人 [1 利用 深度 图 和 精确 的 相机 内 部 参数 对 光 
言 息 是 以 牺牲 一 定 的 空间 分 辩 率 为 代价 的 ， 两 者 之 间 存 在 一 个 场 相机 逐 层 建 模 ， 并 在 贝 叶 斯 框架 下 应 用 盲 反 卷 积 方法 重建 高 
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分 辨 率 光 场 全 聚焦 图 像 。 然 而 ， 该 方法 对 微 透镜 
重建 ,忽略 了 光 场 图 像 的 角度 分 辨 率 。2012 年 


析 了 四 维 光 场 医 


以 混合 高 斯 模型 


通过 计算 光 场 EPI(epipolar plane image)3X HX 4 
信息 ， 将 贝 叶 斯 框架 下 的 MAP 估计 作为 数 


像 块 的 低 秩 性 和 图 像 块 视差 之 间 
作为 先 验 来 提高 光 场 
仅 适 合 漫 反 射 场景 ， 并 且 图 像 块 需要 和 
度 不 连续 的 影响 


。2014 年 , Wanner ££ APIE H 


图 像 的 分 罚 
取得 足够 4 


作为 能 量 函数 的 先 验 模型 ， 对 四 维 光 场 数据 进行 空间 分 辨 率 和 
角度 分 辨 率 的 重建 。 其 重建 对 象 是 所 有 的 光 场 多 视角 医 
于 不 需要 精确 的 几何 关系 包 
了 重建 图 像 的 边缘 信息 。 


图 像 直接 进行 
Mitra 4& ALY 
的 关系 ， 提 出 
和 # 率 。 但 该 方法 
\， 从 而 忽略 深 
全 变 分 机 
如 像 的 深度 
变 分 模型 


EAR, 


0 相机 内 部 参数 ， 在 一 定 程 


近年 来 ， 深 度 学 习 尤 其 是 卷 积 神经 网 络 (convolutional 


多 视角 图 像 。 如 


区 


有 同方 向 点 到 uv 平面 上 对 应 点 的 光线 的 


DS 


2 所 示 ， 每 一 必 


l 光 场 相机 的 成 像 模 型 


视角 图 像 表 示 从 st 平面 上 所 


EA 


NH o 


FH 
ZMo 


用 全 局 视角 和 局 部 视角 相 结 合 的 方式 ， 可 以 
部 信息 丢失 问题 。 实 验 结果 在 定性 和 定量 两 个 方 
本 文 提 出 的 超 分 辨 率 重 建 算法 在 结果 图 像 中 能 


解决 遮挡 情况 下 局 


ABISH T 


1 ， 光 场 相 机 成 像 原理 


空间 中 ， 每 一 个 点 和 每 一 个 方向 的 辐射 函数 的 总 条 


场景 空间 信息 的 同时 也 记录 了 角度 信息 。 


保持 较 好 的 效 


[就 是 光 


一 个 新 的 


neural network，CNN) 成 功 应 用 于 图 像 超 分 辩 率 重建 00-53] 中 。 
2014 年 ，Dong 等 人 09 首 次 提出 了 基于 卷 积 神经 网 络 的 图 像 超 you m 
4 HE SEEEZUER. AT Y PRERIVPERG US RUURBENECIH] SR 技 x 
术 的 等 价 性 , 将 CNN 用 于 单 幅 图 像 的 超 分 辨 率 重建 。2016 年 ， 
Yoon 等 人 tI 首次 提出 的 基于 CNN 对 光 场 图 间 、 和 角度 
(e) 多 视角 成 像 模型 (b) 多 视角 图 像 
超 分 辩 率 重建 ， 利 用 了 待 重建 视角 周围 的 相 邻 视 只 能 在 相 
图 2 光 场 多 视角 
邻 多 视角 图 像 之 间 合 成 新 视角 图 像 ， 不 能 在 任意 位 置 合成 新 视 
角 。2016 4E, Nima 等 人 [3 提出 的 基于 CNN 的 光 场 图 像 角度 分 于 像素 传感器 的 分 辩 率 是 固定 的 ， 每 个 微 透镜 记录 光线 
辩 率 重建 方法 ， 通 过 级 联 卷 积 神经 网 络 分 别 估计 新 视角 处 的 深 对 应 相同 位 置 不 同 角 度 的 场景 图 像 ， 这 使 得 像素 传感器 的 大 部 
度 信息 和 颜色 信息 ， 来 合成 光 场 新 视角 图 像 。 但 该 方法 未 提高 分 像素 用 来 记录 方向 信息 ， 获 得 较 大 角度 分 辩 率 ， 导 致 空间 分 
新 视角 的 空间 分 辨 率 ， 且 仅 使 用 四 幅 角 点 视角 作 入 ， 对 于 辩 率 较 低 。 光 场 相机 通过 牺牲 空间 分 辩 率 获取 角度 信息 ， 其 空 
复杂 场景 如 遮挡 , 当 角 点 视角 对 应 的 映射 图 像 缺 失 有 效 信息 时 ， 间 分 辨 率 和 普通 相机 相 比 低 很 多 ， 角 度 分 辩 率 也 达 不 到 实际 应 
会 造成 合成 的 新 视角 图 像 局 部 信息 丢失 。 用 需求 。 因 此 ， 本 文通 过 超 分 辩 率 重建 的 方法 ， 提 高 光 场 图 像 
针对 上 述 问题 ， 本 文 提 出 一 种 融合 全 局 了 视角 的 光 场 的 空间 分 辨 率 和 角度 分 辩 率 。 
超 分 辨 率 重 建 算法 ， 可 以 同时 提高 光 场 图 像 的 空间 分 辨 率 和 角 Li 
度 分 辨 率 。 鉴 于 商业 光 场 相机 采集 的 光 场 图 像 ， 其 相 邻 多 视角 BOUE 
之 间 具 有 较 大 相关 性 ， 利 用 待 重建 新 视角 周围 的 视角 信息 ， 采 本 文 的 光 场 超 分 辩 率 重建 则 如 高 空间 分 辨 率 的 任 


7 置 新 视角 图 像 。 现 有 新 视角 合成 方法 都 


坦 边缘 区 域 


幅 新 


i EHDA: 
新 视角 图 像 ， 其 习 


F z 


是 通过 已 有 视角 来 


[有 的 光 场 多 视角 图 像 
介 时 间 效率 较 低 ， 平 


容易 产生 阶梯 效应 ; b) 利 用 
视角 图 像 ， 由 于 光 场 相 
人 小， 未 考虑 新 视角 位 置 的 不 同 
重建 结果 局 部 位 置 噪声 较 大 ， 边 


局 部 多 视角 图 像 来 


基线 窄 ， 局 部 视角 方向 信 
部 视角 选取 问题 ， 导 致 
; c) 利 用 全 局 视角 来 重 


来 自 目标 物 某 一 点 不 同方 向 的 光线 ， 从 所 有 子 孔径 图 


同一 方向 的 像素 ， 即 可 得 到 该 方向 的 完整 图 像 ， 从 而 可 以 获得 


适应 选择 


场 [9。 微 透镜 阵列 式 光 场 相 机 成 像 原理 如 图 1 所 示 ， 在 主 透 镜 芳 新 视角 图 像 ， 时 间 效 率 较 高 建 结 果 较 好 ， 但 在 遮挡 
和 像素 传感器 之 间 插 入 一 个 微 透镜 阵列 ， 物 体 上 某 一 点 反射 的 下 ， 会 造成 新 视角 图 像 局 部 象 。 综 合 考虑 时 间 
光线 经 主 透 镜 聚 焦 到 微 透 镜 阵列 上 ， 然 后 通过 微 透 镜 阵 列 将 光 遮挡 情况 ， 本 文 提 出 融合 局 部 视角 的 光 场 超 分 辨 
线 按照 入 射 方 向 分 散 到 像素 传感器 上 ， 因 此 像素 传感器 在 记录 。” 率 重建 算法 ,利用 全 局 视角 视差 大 ， j 度 信息 大 的 特点 ， 
可 以 合成 全 局 视角 范围 内 任意 位 置 图 像 ， 同 时 ， 结 合 
与 传统 相机 不 同 的 是 ， 微 透镜 阵列 中 每 一 个 微 透镜 在 像素 。 局 部 视角 和 待 重建 新 视角 的 相关 性 ， 可 以 解决 遮挡 情况 下 新 视 
传感器 上 形成 对 应 的 子 孔径 图 像 ， 每 一 个 子 孔径 图 像 都 记录 ] 局 部 信息 丢失 问题 并 且 合 成 一 幅 新 视角 图 像 的 效率 较 高 ， 
像 中 选取 ”在 选取 局 部 视角 时 ， 根 据 局 部 视角 和 待 重建 新 视角 的 相对 位 置 


局 部 视角 。 图 3 所 示 为 使 用 不 同 视角 的 重建 
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结果 ， 其 中 图 3(a) 左 上 角 为 全 局 与 局 部 视角 示意 图 ， 每 个 方 框 
代表 一 幅 多 视角 图 像 ， 红 色 框 表示 全 局 视角 ， 绿 色 框 表示 待 重 
建新 视角 , 蓝 色 框 表示 局 部 视角 , 右 下 角 为 局 部 放大 真 值 ; 图 3(b) 
为 使 用 相 邻 局 部 多 视角 的 重建 结果 ， 图 3(c) 为 使 用 所 有 多 视角 
的 重建 结果 ， 图 3(d) 为 使 用 全 局 多 视角 的 重建 结果 ， 图 3(e) 为 
采用 全 局 与 局 部 视角 的 重建 结果 ， 可 以 看 出 ， 本 文 的 算法 的 结 
果 较 好 ， 避 免 了 仅 使 用 全 局 、 局 部 和 所 有 视角 造成 的 局 部 信息 
缺失 、 边 缘 模糊 和 阶梯 效应 等 问题 。 本 文 的 算法 整体 框架 如 图 
4 所 示 。 为 了 合成 高 分 辩 率 新 视角 图 像 ， 首 先 使 用 空间 超 分 辨 
率 卷 积 神经 网 络 提高 输入 多 视角 图 像 的 像素 分 辩 率 ， 得 到 高 分 
辩 率 多 视角 图 像 ， 然 后 利用 角度 超 分 辩 率 卷 积 神经 网 络 分 别 估 
计 待 重建 新 视角 处 的 深度 信息 和 颜色 信息 ， 通 过 融合 全 局 视角 
和 局 部 视角 信息 ， 优 化 其 深度 估计 和 颜色 估计 的 精度 ， 从 而 合 
成 高 质量 的 新 视角 图 像 。 

本 文 算法 主要 步骤 为 : a) 对 光 场 原始 数据 进行 预 处 理 操 作 ， 
解码 重 构 出 多 视角 图 像 ， 获 取 低 分 状 率 全 局 视角 图 像 和 局 部 视 
角 图 像 ，b) 为 了 得 到 高 分 辩 率 的 全 局 视角 图 像 和 局 部 
视角 图 像 ， 采 用 卷 积 神经 网 络 提高 全 局 视角 图 像 和 局 部 视 
角 图 像 的 空间 分 辨 率 ; c) 将 步骤 b) 得 到 的 高 分 辨 率 全 局 视角 图 
像 和 局 部 视角 图 像 映 射 到 待 重建 新 视角 位 置 ， 从 映射 图 像 中 提 
取 深 度 特 征 和 颜色 特征 ， 利 用 角度 超 分 辨 率 卷 积 神经 网 络 ， 分 


图 3 使 用 不 同 视角 重建 结果 


新 视角 图 像 


图 4 ”本文 算法 整体 框架 


234 光 场 数据 预 处 理 


Qy Esas, P eays BN ec), N «C GM, 
采用 Lytro illum 相机 获取 的 光 场 数据 包含 目标 物 同一 位 置 m M RECEN 
不 同方 向 的 信息 ,为 了 重 构 出 该 目标 物 不 同方 向 的 多 视角 图 像 ， Li, j) -(CG -1, j -0, CG —1, j), CG, 7), Ci, j- D} 
Im E x 本 B^ 28 > 四 z EN 
通过 lytro-powertools RETI REROGAR GR, KELAR. "RT 
于 光 场 基线 窄 ， 光 场 相 邻 多 视角 图 像 之 间 的 视差 较 小 ， 其 相关 470 2'47072 


性 较 大 ， 因 此 本 文 充 分 利用 相 邻 光 场 多 视角 图 像 之 间 的 相关 性 L(i, j) -(CG —1, j).CG —1, j - 1. CG. j - 1. CG. j)] 
信息 ， 融 合 全 局 视角 和 局 部 视角 信息 ， 重 建 出 高 分 辩 率 的 新 视 
角 图 像 。 根 据 和 待 重建 新 视角 的 相对 位 置 关 系 ， 分 以 下 九 种 情 


(4) 3 t edes ,ds HN,» C), N, «C D i, 


况 自 适 应 选择 局 部 视角 。 L(i, j) -(CG, j -D, CG, j), CG -1, j), CG +1, j - 0) 
w h w w h h I Lm 
M dx«—. dy< 二 时 ， 当 dx € dy < N.2C,j,N,»C,G j) 时 , 
M p 053 时 (5) 当 本 344 0059. HN, j), N, >C, j) 时 


Lü, j) -(CG 1, j), CG, j), CG, j-), CG, j+1)} LG, j) ={CG j) CG, j+), CG +1, j D, CG +1, j)} 
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(6) 


() 


(8) 


(9) 


UK 


IK 


des, edys HN, «C,G W, 


Li. p- e j -3.C(i, j - 1, C(i 1, ^) 


CG—-L j), CQ, j), CG +1, j) 


aut n. 


h "T 
dy <+ N,»C,(i,j) F, 
qe z H »> 0 时 


CQOi-1,j-D,C(i,)),Cli+tl,), 


| 


Sede 
4 


h - 
ges, BN. «GG DI, 


| Lj-1,C-L j, C(i 1, dii 


C, j * D, CG, j), CG, j - V) 


Modest 
4 


h - 
,dys^ H N,» C,G, 
"ERA "ES 3 G, j 


其 中 : N, 表示 待 重 建新 视角 中 心 点 的 横 坐 标 ， 
新 视角 中 心 点 的 纵 坐标 ， 
坐标 最 近 的 多 视角 ， 
最 近 的 多 视角 中 心 点 的 横 坐 标 ， 已 旋 表示 距离 待 重建 新 视角 
中 心 点 坐标 最 近 的 多 视角 中 心 点 的 纵 坐 标 ， 必 =|N. - C. G. 


dy -|N, - C, 6. j) 


Er 
IH] o 


示 局 部 视角 。 选 取 边 长 为 多 视角 
视角 图 像 中心 点 重合 的 矩形 
图 


5(b) 绿 色 


| z 
邓 R, 3: 融合 全 局 与 局 部 视角 的 光 场 超 分 状 率 重建 


LG, j) -| 


CG, j) RIRE S f H 
Ci j) Ez BR 


m 


x 


待 重建 新 视 人 


C, j -D, CG, j), CG, j +1), 
C(i *l, j+1),CG +1, j), CG-1 j 1) 


NN, 表示 待 重建 
建新 视角 中 心 点 
中 心 点 坐标 


Mm 


JJ, 


如 图 S(a)pZR. Pup e 


区 域 所 示 。 


RE EZ 


图 像 的 宽 , 表示 多 视角 


K 


像 的 


匡 表 示 待 重建 新 视 人 


， 黄 色 框 表 


多 


区 域 作为 


像 宽 高 的 一 半 


， 中 心 点 与 多 


局 部 视角 选择 参考 窗 ， 如 


(a) 全 局 视角 与 局 部 视角 的 选择 情况 (b) 局 部 视角 选择 参考 窗 
图 5 全 局 视角 与 局 部 视角 

22 ”空间 超 分 辨 率 卷 积 神经 网 络 多 视角 图 像 。 

为 了 提高 光 场 数据 预 处 理 后 得 到 的 低 分 辨 率 全 局 视角 和 局 前 十 九 个 卷 积 层 后 各 连接 一 个 Relu 激活 层 。 
部 视角 图 像 的 空间 分 辩 率 ， 使 用 基于 学 习 的 空间 超 分 辩 率 卷 积 Ls 

双 三 次 插值 结果 高 分 辨 率 视角 

神经 网 络 来 提高 其 空间 分 辨 率 ， 得 到 高 分 辩 率 的 全 局 视角 和 局 低 分 辨 率 视 角 5 o = 
部 视角 图 像 。 网 络 模型 类 似 于 文献 [12], 但 输入 输出 为 n 幅 全 局 7 f 加 
视角 图 像 或 者 局 部 视角 图 像 (n 为 4 或 者 6), 通过 深层 网 络 对 低 jf W- WT 
分 辩 率 图 像 块 到 高 分 辩 率 图 像 块 之 间 映 射 关系 建 模 ， 结 构 如 加 人 : ¥ | 
6 所 示 。 该 网 络 将 阶 数 较 小 的 卷 积 核 多 次 级 联 ， 充 分 利用 低 分 "TES 
RM QM l l R6 空间 超 分 辨 率 卷 积 神经 网 络 
辩 率 和 高 分 辩 率 较 大 图 像 区 域 的 上 下 文 信息 ， 获 取 它 们 之 间 的 
相关 性 信息 ， 从 而 得 到 低 分 辩 率 图 像 到 高 分 辩 率 图 像 之 间 的 映 23 ”角度 超 分 辩 率 卷 积 神 经 网 络 
射 关系 。 将 低 分 辩 率 的 全 局 视角 和 局 部 视角 图 像 输入 空间 超 分 为 了 合成 新 视角 ， 一 般 方法 路 519 是 先 估算 输入 视角 图 你 
辩 率 卷 积 神 经 网 络 ， 获 得 高 分 辩 率 的 视角 输出 。 空 间 超 分 辩 率 ”的 深度 信息 ， 然 后 使 用 该 深度 信息 将 输入 视角 图 像 映射 到 待 重 
卷 积 神经 网 络 有 20 个 权 值 层 , 该 网 络 第 一 层 包含 64 个 卷 积 核 ， ”建新 视角 位 置 ， 最 后 对 映射 图 像 进行 操作 如 加 权 》 获 得 新 视 
尺寸 为 3x3xn， 即 每 个 卷 积 核 和 输入 的 四 幅 光 场 多 视角 图 像 做 角 图 像 。 如 图 7 所 示 ， 相 机 es 从 两 个 不 同方 向 对 物体 面 Z 拍摄 
卷 积 操 作 ， 生 成 64 个 通道 (特征 图 )， 第 二 层 至 第 十 九 层 的 配 。 ”成像 于 9 平面 的 > 和 < 两 点 ,利用 深度 估计 算法 得 到 和 输入 多 视 
置 参数 都 一 样 ,包含 64 个 卷 积 核 ， 尺 寸 为 3x3x64， 即 每 个 卷 积 。” 角 图 像 的 深度 图 d ， 根据 该 深度 图 可 知 多 视角 图 像 平面 9, 上 的 
核 和 上 一 层 的 64 通道 中 的 3x3 区 域 做 卷 积 操作 ， 最 后 一 层 包 ”点 * 和 物体 表面 上 的 点 P 呈 一 一 对 应 关系 。 由 于 光 场 相机 超 
含 n 个 卷 积 核 , 尺寸 为 3x3x64， 用 来 图 像 重建 ， 得 到 高 分 辩 率 分辩 率 重建 的 新 视角 图 像 所 在 平面 T 与 输入 的 多 视角 图 像 平面 
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O 往往 在 同一 平面 上 ， 并 且 转 移 函 数 5 跟 深 度 图 有 关 ， 其 中 fÜünelh... ， 其 中 大 根据 待 重建 新 视角 的 位 置 选择 4 或 6，4 
7,0) —x-d,GXc -c)) ,因此 将 输入 视角 图 像 通 过 视角 转移 函数 映 ” ”为 新 视角 的 角度 坐标 ，f 定义 为 输入 视角 和 新 视角 之 间 的 映射 
射 到 待 重建 新 视角 位 置 ， 然 后 通过 对 映射 图 像 操作 获得 新 视角 关系 。 

图 像 。 2.4 深度 估计 模块 


该 模块 的 任务 是 估计 待 重建 新 视角 图 像 的 深度 信息 。 为 了 


Le 估计 深度 信息 , 首先 根据 预 设 的 深度 等 级 4,…,dc 把 全 局 视角 图 
Pa 


i 2€ 4 1, 和 局 部 视角 图 像 7, 映射 到 新 视角 处 : 
A 了 L ()» L, [s (P, —9)d,] * L, [s+(P -q)d.] Q) 
i & A "se 其 中 ， tefl N}, cef, SO xy 方向 的 像素 位 置 ，4 为 
v d uv 方向 新 视角 图 像 的 位 置 ， Pp 和 ps 分 别 为 全 局 视角 和 局 部 视 
图 7 新 视角 合成 示意 图 角 在 uv 方向 的 位 置 ，ZY(s) 为 输入 视角 图 像 在 每 一 个 深度 等 级 


Nima 等 人 将 上 述 合成 新 视角 方法 分 成 深度 估计 和 颜色 估 ”的 映射 图 像 。 本 文 在 新 视角 处 [-21,21] 像 素 范 围 内 分 成 100 个 深 
计 两 步 ， 使 用 卷 积 神经 网 络 分 别 对 新 视角 处 的 深度 信息 和 颜色 ”上 度 等 级 进行 映射 。 利 用 Tao 等 人 11 的 方法 ， 从 每 一 个 深度 等 级 


信息 建 模 ， 并 用 四 个 全 局 视角 图 像 估计 出 待 重建 新 视角 位 置 的 ”的 映射 图 像 中 提取 散 焦 和 一 致 性 信息 作为 深度 特征 ， 即 
深度 信息 和 颜色 信息 ， 从 而 重建 出 新 视角 图 像 。 相 比 于 现 有 合 Moy ly I Q) 
成 新 视角 的 方法 而 言 ， 效 果 更 好 并 且 合 成 新 视角 图 像 的 效率 也 NAT 
有 明显 提高 。 然 而 对 于 复杂 场景 如 遮挡 ， 当 全 局 视角 对 应 的 映 : Tc pem E 

$ u K vts | — 2 (C, () -M^(s)) (4) 
射 图 像 缺失 有 效 信息 时 ， 会 造成 合成 的 新 视角 图 像 局 部 信息 丢 TEM 


Ro WE 8(a) 所 示 ， 全 局 视角 映射 图 像 中 丢失 了 柱子 和 叶 尖 信 通过 连接 每 个 深度 等 级 的 散 焦 信 息 和 一 致 性 信息 
息 ， 导 致 合成 的 新 视角 图 像 柱子 和 叶 尖 缺失 。 为 了 解决 记 挡 情 QU r M ENVE MEV son MV) RNR ERER K 。 
况 下 出 现 的 局 部 信息 丢失 问题 ， 本 文 充分 利用 待 重建 新 视角 周 。 本文 使 用 100 个 深度 等 级 ， 每 个 深度 等 级 包含 全 局 与 局 部 的 散 
的 多 视角 信息 ， 采 用 全 局 视角 和 局 部 视角 相 结 合 的 方式 ， 融 。” 焦 和 一 致 性 信息 ， 因 此 深度 特征 集 总 共有 400 个 特征 向 量 。 
合 全 局 视角 和 局 部 视角 作为 输入 视角 ， 使 用 卷 积 神经 网 络 分 别 。 于 用 全 局 视角 和 局 部 视角 对 应 的 新 视角 处 映射 图 像 提取 深度 特 


— 


汕 计 待 重建 新 视角 处 的 深度 信息 和 颜色 信息 ， 最 终 合 成 高 质量 。“ 征 来 估计 新 视角 的 深度 信息 : 

的 新 视角 图 像 。 如 图 8(b) 所 示 ， 局 部 视角 映射 图 像 中 右上 角 和 D, = g,(K) (5) 

右 下 角 图 像 包含 了 柱子 以 及 叶 尖 信息 ， 故 最 终 合 成 新 视角 图 像 。” 其中: D, 为 竺 合成 新 视角 图 像 的 深度 信息 ，8, 定义 为 输入 特征 

包含 柱子 和 叶 尖 ， 解 决 了 局 部 信息 缺失 问题 。 集 和 符合 成 新 视角 图 像 深度 信息 之 间 的 映射 关系 。 深 度 估计 模 
块 网 络 结构 包含 四 个 卷 积 层 ， 其 中 第 一 层 包 含 200 个 卷 积 核 ， 


尺寸 为 7x7, 第 二 层 包含 100 个 卷 积 核 ， 尺 寸 为 SxS, 第 三 层 包 含 
50 个 卷 积 核 , 尺 寸 为 3x3, 第 四 层 包含 1 个 卷 积 核 , 尺 寸 为 1x1， 
前 三 层 后 连接 Relu 层 。 
2.5 颜色 估计 模块 
该 模块 是 对 输入 视角 图 像 进行 映射 ， 利 用 映射 图 像 、 待 
建新 视角 图 像 的 深度 信息 及 其 位 置 坐标 所 组 成 的 颜色 特征 集 
万 ={L,,…L,D,,9}， 估 计 待 重建 新 视角 图 像 的 颜色 信息 ， 其 网 络 
i 结构 类 似 于 深度 估计 模块 。 由 于 新 视角 图 像 的 每 一 个 像素 ， 其 
(b) 局 部 视角 映射 图 像 深度 信息 和 每 一 幅 输 入 视角 图 像 (包括 全 局 视角 和 局 部 视角 ) 
的 相应 像素 相对 应 ， 因 此 新 视角 图 像 的 颜色 信息 可 以 由 输入 视 
角 图 像 估计 获得 。 根 据 深 度 估 计 模 块 估计 得 到 的 深度 信息 将 输 


Tu 


局 视角 
司 
视角 


图 8 合成 新 视角 结果 对 比 


本 文 角 度 超 分 辩 率 重建 的 网 络 结构 如 图 9 所 示 ， 由 输入 视 入 视角 图 像 映射 到 待 重建 新 视角 处 ， 即 
角 图 像 ss Lp, Ep... Lp, 和 新 视角 的 位 置 9 ， 估 计 出 新 视角 z 
L, (s) - L, [s (p, —4)D, GJ] L, [s+(p, -4)D, G)] (6) 
E La, BU 
Lq = f (Lp, Lp, Lp,,., Lp,.q) (1) 


其 中 : L, 为 输入 视角 图 像 根 据 深度 人 


T D, 得 到 的 映射 图 像 。 


Til 


其 中 : Lo, o MG ER, ie{L-4 LP, 表示 局 部 视角 图 
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录用 稿 邓 A, 融合 全 局 

将 颜色 特征 集 输入 颜色 估计 卷 积 神经 网 络 , 合成 最 终 的 新 视角 ， L, =8.(H) (7) 

RI 其 中 : g 定义 为 颜色 特征 集 和 估计 新 视角 图 像 之 间 的 映射 关系 。 
深度 估计 模块 颜色 估计 模块 


映射 图 像 


gs 
特征 提取 
局 部 视角 (n) HE Oe 
EH ^-———— | SERR 


图 9 角度 超 分 辨 率 卷 积 神经 网 络 


" 先 下 采样 再 使 用 双 三 次 线性 插值 的 方法 ， 以 相同 的 缩放 因子 上 
9 SURGURELAMT 采样 得 到 低 分 状 率 输入 视角 ， 原 始 多 视角 图 像 作为 真 值 。 对 于 
3.1 实验 设置 低 分 辨 率 图 像 块 和 高 分 辨 率真 值 图 像 块 ， 本 文 在 相同 的 区 域 随 
实验 平台 ; 实验 使 用 的 台式 电脑 配置 如 下 : Intel-2620V4 机 裁剪 尺寸 大 小 为 41x41 的 图 像 块 作为 输入 和 真 值 。 在 卷 积 操 
CPU 2.1GHz x 8 cores, NVIDIA GeForce TITANX x 2 , RAM 作 之 前 ， 使 用 填充 零 的 方法 使 得 所 有 的 特征 图 以 及 输出 图 像 的 
128G, Ubuntu 14.04 64 位 操作 系统 , 编译 软件 为 Matlab 2015b， 尺寸 大 小 保持 不 变 ， 这 样 可 以 有 效 解决 边缘 像素 的 超 分 辨 率 重 
Caffe, Matconvnet. 建 问 题 。 本 文 使 用 残 差 训 练 的 方法 训练 该 网 络 ， 对 低 分 状 率 和 
数据 集 : 本 文 使 用 standford 光 场 数据 集 09 以 及 文献 [13] 的 高 分 辩 率 图 像 之 间 的 残 差 进行 训练 ， 并 采用 较 高 的 学 习 率 ， 加 
数据 集 作为 训练 集 和 测试 集 。 这 两 个 数据 集 都 是 由 Lytro illum ” 快 收敛 速度 , 同时 采用 可 调节 梯度 裁剪 策略 091, 调整 梯度 信息 ， 


光 场 相机 获取 ， 其 空间 分 辩 率 为 376x541， 和 角度 分 辨 率 为 ” 有 效 避 免 训 练 过 程 中 梯度 消失 和 梯度 爆炸 的 问题 。 
14x14， 由 于 边缘 子 孔 径 图 像 受 噪声 、 渐 晕 效 应 等 影响 ， 只 采 对 于 角度 超 分 辩 率 卷 积 神经 网 络 ， 由 于 现 有 真实 场景 光 场 


用 中 间 8x8 视角 进行 训练 和 测试 。 本 文 训 练 集 包 含 100 幅 光 场 ” 数据 集 没有 对 应 的 深度 真 值 ， 所 以 难以 通过 直接 最 小 化 估计 的 
图 片 ， 包 含 自行 车 ， 汽 车 ， 大 树 ， 植 物 ， 人 物 等 八 类 ， 测 试 集 ”深度 值 和 对 应 的 深度 真 值 来 训练 深度 估计 网 络 。 本 文通 过 最 小 
包含 30 张 光 场 图 片 。 对 光 场 原始 图 像 , 按照 尺寸 为 60x60, 步 。 化 新 视角 图 di en 之 间 的 误差 来 训练 角度 超 分 辩 
长 为 16 像素 提取 图 像 块 , 因此 本 文 的 训练 集 数量 有 超过 106 个 ” 率 重建 网 络 ， 能 量 损失 函数 为 : 

图 像 块 。 为 了 定量 分 析 本 文 的 超 分 辨 率 重 建 算法 ， 实 验 中 先 删 
除 光 场 图 像 的 中 心 视角 图 像 (5,5), 并 对 其 进行 空间 下 采样 , 再 以 


, 
E=) (La-La) 
k=l 


同样 的 采样 因子 《本文 的 采样 因子 为 2〉 上 采样 ， 然 后 将 重建 其 中 : Lu 为 合成 的 新 视角 图 像 ，Li 为 合成 的 新 视角 图 像 位 置 
结果 与 原始 的 中 心 视 角 进 行 定 量 比较 。 所 对 应 的 多 视角 真 值 图 像 ， 大 为 RGB 三 通道 。 

评价 指标 : 为 了 验证 本 文 方法 的 有 效 性 ， 将 本 文 方法 与 文 本 文 使 用 CaffeP 训 练 网 络 ， MatconvnetP1 来 测试 网 络 。 空 
献 [9，11，13] 的 方法 进行 超 分 辩 率 重建 的 结果 对 比分 析 ， 并 采 ” 间 超 分 辨 率 卷 积 神经 网 络 使 用 均值 为 0， 标 准 差 为 0.001 的 高 


用 峰值 信 噪 比 (peak signal to noise ratio, PSNR) 和 结构 相似 性 斯 分 布 来 随机 初始 化 权重 ， 动 量 参数 为 0.9， 权 重 衰减 参数 为 


指数 (structural similarity image measure, SSIM ) 进行 定量 评价 。 0.0001， 学 习 率 为 0.1。 角 度 超 分 辨 率 卷 积 神经 网 络 使 用 Xavier 

即 : 方法 来 随机 初始 化 权重 ， 求 解 器 为 ADAM, HP A=09, 

PNSR-=10log ,于 x 刀 及 =0.999 ， 学 习 率 为 0.0001。 空 间 超 分 辩 率 卷 积 神经 网 络 和 1 

lx- 度 超 分 辨 率 重 建 网 络 先 分 别 单独 训练 ， 然 后 再 将 空间 超 分 状 率 

Kp, W, n 为 图 像 的 大 小 ，x 为 原始 高 分 辨 率 图 像 ，y KE 卷 积 神经 网 络 的 输出 作为 角度 超 分 辩 率 重建 网 络 的 输入 ， 对 整 
建 后 的 高 分 辨 率 图 像 。 个 网 络 进行 端 到 端 微调 。 

ssIM - — Qt * CX, * C.) 3.3 ”实验 结果 分 析 
(i +u, + CX: oy C) 为 了 验证 本 文 算法 的 准确 性 ， 依 次 使 用 文献 [9，11，13] 方 


Kp. uH o, 分 别 为 原始 高 分 辨 率 图 像 的 灰 度 平均 值 和 方差 ， ”法 以 及 本 文 方法 对 光 场 图 像 进行 超 分 辩 紊 重建。 从 提高 角度 分 

A, 和 0 分 别 为 重建 后 图 像 的 灰 度 平均 值 和 方差 ， 0 为 原始 高 。 关 率 ， 空 间 分 辨 率 和 重建 效果 以 及 算法 时 间 效 率 上 分 析 三 种 方 

分 辨 率 图 像 和 重建 图 像 的 协 方差 ，C, 、C; 为 常数 。 法 的 超 分 辨 率 重 建 结果 。 

3.2 网 络 训练 图 10 显示 了 使 用 本 文 算法 进行 角度 超 分 辩 率 重建 得 到 的 
对 于 空间 超 分 辨 率 卷 积 神经 网 络 ， 对 原始 输入 多 视角 图 像 ”新 视角 图 像 。 图 中 第 一 行为 输入 多 视角 图 像 中 的 第 一 幅 图 像 ， 
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第 二 行为 使 用 本 文 超 分 辨 率 重 建 算法 获得 的 新 视角 图 像 。 红 色  ” 实 自 然 场 景 的 合成 效果 较 差 , 边缘 噪声 较 大 。 文 献 [13] 方 法 仅 使 
矩形 框 〈 图 像 右 下 角 为 其 放大 图 像 ) 表示 输 入 图 像 与 重建 后 图 用 四 幅 全 局 视角 图 像 来 合成 新 视角 图 像 ， 虽 然 很 好 的 保持 了 边 
像 相 同位 置 同样 大 小 的 视图 ， 可 以 看 出 重建 后 的 图 像 与 输入 图 缘 信 息 ， 但 是 对 于 PM 当 其 在 待 合成 新 视角 处 的 映 
像 的 视角 不 同 。 因 此 ， 超 分 辨 率 重 建 后 获得 一 幅 新 视角 图 像 ， 射 图 像 缺 失 局 部 有 效 信息 时 ， 会 造成 合成 的 新 视角 图 像 局 部 目 
增加 了 光 场 图 像 的 视角 数 ， 从 而 提高 光 场 图 像 的 角度 分 辩 率 。 ERIZ, HEU Leaves ER m Rock 场景 中 的 叶 尖 。 

本 文 算法 利用 四 个 全 局 视角 和 局 部 视角 ， 可 以 重建 出 全 局 视角 本 文 方法 采用 了 全 局 视角 和 局 部 视角 相 结合 的 方式 ， 利 用 了 局 
范围 内 任意 位 置 的 新 视角 图 像 。 部 视角 的 有 效 信息 ， 可 以 弥补 全 局 视角 在 待 重 建 视角 处 映射 图 


图 10 超 分 辨 率 重建 后 新 视角 图 像 


文献 [13] 方 法 和 本 文 方法 在 真实 自然 场景 数据 集 上 的 超 分 辨 率 
重建 图 像 效 果 为 便于 可 视 化 ， 将 重建 图 像 部 分 放大 显示 )。 
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文献 [9] 方 法 文献 [11] 方 法 文献 [13] 方 法 本 文 方法 


图 11 四 种 方法 超 分 辨 率 重 建 结 果 定 性 结果 


文献 [9] 方 法 使 用 了 所 有 光 场 多 视角 图 像 来 重建 新 视角 , 但 


11 从 定性 的 角度 对 比分 析 了 文献 [9] 方 法 、 文献 [11] 方 法 、 


像 局 部 信息 丢失 的 缺陷 ,并 且 可 以 保持 重建 


LE 后 图 像 的 边缘 信息 。 


本 文 方法 的 重建 效果 优 于 文献 [9] 方 法 和 文献 [11] 方 法 ， 不 仅 保 


持 了 重建 后 图 像 的 边缘 信息 ， 而 
情况 。 

为 了 从 定量 的 
超 分 辩 率 重建 结果 ， 


有 效 的 避 


E 


避免 了 局 部 目标 丢失 


度 分 析 文 献 [9, 11, [13] 方 法 和 本 文 方法 的 
对 真实 自然 场景 数据 集 上 进行 超 分 辨 率 重 


建 ， 分 别 采用 峰值 信 噪 比 和 结构 相似 性 指数 来 量化 ， 表 1 为 定 
量 比较 结果 ， 从 表 中 可 以 看 出 ， 本 文 的 方法 要 优 于 其 他 两 种 方 
法 ， 与 定性 评价 结果 一 致 。 

本 文 算 法 通过 融合 全 局 和 局 部 视角 信息 ， 利 用 卷 积 神经 网 
络 提高 光 场 图 像 的 空间 分 辨 率 和 角度 分 辩 率 ， 图 12 给 出 了 不 
用 方法 在 standford 光 场 数据 集 上 的 峰值 信 噪 比 PSNR 随和 迭代 次 
数 的 变化 趋势 图 。 

从 图 中 可 以 看 出 ， 传 统 方法 不 考虑 和 从 代 次 数 这 个 因素 的 影 


响 , 所 以 它们 的 PSNR 保持 不 变 , 在 图 上 呈 直 线 表 示 , 文献 [11， 


13] 最 终 的 重建 结果 优 于 传统 算法 , 而 本 文 方法 相对 而 言 是 最 优 


的 。 
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812 不 同方 法 的 重建 结果 对 


本 文 算法 包括 空间 超 分 辨 率 重 
网 络 两 


o> men | 


建 网 络 和 
部 分 ， 根 据 网 络 复杂 度 的 计算 公式 P21 


比 曲 线 图 
度 超 分 辨 率 重建 


可 以 得 到 本 文 网 络 的 复杂 度 为 5557204, 文献 [13] 的 网 络 复 
杂 度 为 2308404， 文 献 [11] 的 网 络 复杂 度 为 251488。 由 于 本 文 


加 入 了 局 部 视角 ， 


图 12 可 知 ， 


不 能 很 好 的 保持 重建 后 图 像 边缘 信息 ， 导 致 重建 后 图 像 边缘 模 
糊 ; 文献 [11 方 法 使 用 相 邻 多 视角 合成 一 幅 新 视角 , 对 于 复杂 真 


导致 其 输入 的 特征 图 (feature map) 增 大 ， 从 而 
网 络 复杂 度 增 大 ， 因 此 本 文 网 络 每 次 欠 代 的 计算 量 较 大 ， 但 由 
本 文 网 络 在 14x105 接近 收敛 ， 总 用 时 为 26.5 h, 


而 文献 [13] 在 迭代 将 近 12x105 收敛 ， 总 用 时 为 24.8h， 两 个 网 


络 模型 在 大 概 相同 的 时 间 内 收敛 ， 但 本 文 算法 可 


以 获得 更 好 的 
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Ene Py So 
超 分 状 率 重建 效果 。 在 时 间 效 率 上 ， 表 2 给 出 了 各 算法 重建 幅 新 视角 图 像 的 时 间 。 
表 1 超 分 辨 率 重建 结果 的 PSNR 和 SSIM 比较 
光 场 图 像 文献 [9] 文献 [11] 文献 [13] 本 文 方法 
PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 
Flowerl 29.80 0.819 31.98 0.913 35.56 0.961 37.08 0.969 
Leaves 22.68 0.810 26.32 0.892 27.8 0.933 32.65 0.967 
Flower2 25.97 0.829 29.53 0.912 31.28 0.948 35.08 0.972 
Rock 24.53 0.799 28.3 0.824 33.74 0.957 34.17 0.965 
Seahorse 26.92 0.896 290.25 0.924 31.27 0.963 35.67 0.978 
表 2 不 同 算法 合成 一 幅 新 视角 的 时 间 效 率 
使 用 所 有 多 视角 使 用 局 部 多 视角 使 用 全 局 视 使 用 全 局 与 局 部 相 结合 
效率 22.3s 16.6s 12.3s 12.5s 


4 ”结束 语 


本 文 针 对 光 场 图 像 的 空间 分 辨 率 和 角度 分 辩 率 较 低 的 问题 ， 
提出 了 融合 全 局 与 局 部 视角 的 光 场 超 分 辩 率 重建 算法 。 通 过 融 
合 包 含 信息 最 大 的 全 局 视角 和 根据 和 待 重建 新 视角 相对 位 置 关 
系 自 适 应 选择 的 局 部 视角 信息 ， 可 以 合成 全 局 视角 范围 内 任意 


位 置 的 新 视角 图 像 ,并 解决 遮挡 情况 造成 局 部 视角 于 失 的 问题 ; 
同时 为 了 提高 新 视角 图 像 的 空间 分 辨 率 ， 使 用 空间 超 分 辩 率 卷 
积 神经 网 络 提高 输入 全 局 视角 和 局 部 视角 图 像 的 分 辨 率 ， 从 而 
得 到 高 分 辨 率 新 视角 图 像 。 实 验 结果 表明 ， 本 文 方法 可 以 快速 
合成 一 幅 新 视角 ， 不 仅 保 持 更 好 的 边缘 效果 ， 而 且 有 效 的 避免 
局 部 目标 丢失 现象 ， 获 得 相对 更 优 的 重建 效果 。 
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